FakeQuantWithMinMaxVars
对输入数据执行逐元素伪量化运算。该算子通过给定的最小/最大值(min_val/max_val)计算缩放因子(scale)和零点(zero_point),将浮点输入模拟量化到指定的整数范围(quant_min/quant_max),然后再将其反量化回浮点数。
\[scale = \frac{max\_val - min\_val}{quant\_max - quant\_min}\]
\[zp\_from\_min = quant\_min - \frac{min\_val}{scale}\]
\[nudge\_zp = \text{round} \left( \min \left( quant\_max, \max \left( quant\_min, zp\_from\_min \right) \right) \right)\]
\[nudge\_min = (quant\_min - nudge\_zp) \times scale\]
\[nudge\_max = (quant\_max - nudge\_zp) \times scale\]
\[output_i = \left( \text{round} \left( \frac{\text{clamp}(input_i, nudge\_min, nudge\_max) - nudge\_min}{scale} \right) \right) \times scale + nudge\_min\]
对称量化(symmetric 为 true 时):
\[max\_val = \max(-min\_val, max\_val), \quad min\_val = -max\_val\]
- 输入:
src - 输入数据地址。
min_val - 浮点范围的最小值。
max_val - 浮点范围的最大值。
params - 参数数组,包含以下元素:
params[0]- 计算长度(length)。params[1]- quant_min,量化后的整数最小值(例如 0 或 -128)。params[2]- quant_max,量化后的整数最大值(例如 255 或 127)。params[3]- symmetric,是否使用对称量化(bool 类型)。若为 true,则范围调整为关于 0 对称。
core_mask(int, 可选) - 核掩码(仅适用于共享存储版本)。
- 输出:
output - 伪量化后的计算结果地址。
- 支持平台:
FT78NEMT7004
备注
FT78NE 支持:fp32 (fp)
MT7004 支持:fp16 (hp), fp32 (fp)
该算子内部包含 “Nudge” 逻辑,即会自动调整零点(Zero Point)使其为整数,并根据调整后的零点重新计算实际使用的浮点范围(nudge_min/nudge_max)。
共享存储版本:
-
void fp_fake_quant_with_min_max_vars_s(float *src, float *output, float min_val, float max_val, long long *params, int core_mask)
-
void hp_fake_quant_with_min_max_vars_s(float16 *src, float16 *output, float16 min_val, float16 max_val, long long *params, int core_mask)
C调用示例:
1// MT7004 示例:fp32 类型共享存储多核计算 2#include <stdio.h> 3#include <stdbool.h> 4 5int main(int argc, char* argv[]) { 6 float *input = (float *)0x81000200; 7 float *output = (float *)0x82000000; 8 float min_v = -10.0f; 9 float max_v = 10.0f; 10 int length = 1024; 11 int core_mask = 0b1011; 12 long long params[4]; 13 params[0] = length; 14 params[1] = 0; // quant_min 15 params[2] = 255; // quant_max 16 params[3] = false; // symmetric 17 fp_fake_quant_with_min_max_vars_s(input, output, min_v, max_v, params, core_mask); 18 return 0; 19}
私有存储版本:
-
void fp_fake_quant_with_min_max_vars_p(float *src, float *output, float min_val, float max_val, long long *params)
-
void hp_fake_quant_with_min_max_vars_p(float16 *src, float16 *output, float16 min_val, float16 max_val, long long *params)
C调用示例:
1// MT7004 示例:fp16 (float16) 类型私有存储单核计算 2#include <stdio.h> 3#include <stdbool.h> 4 5int main(int argc, char* argv[]) { 6 float16 *input = (float16 *)0x10030000; 7 float16 *output = (float16 *)0x10040000; 8 float16 min_v = fp32_to_fp16(-5.0f); 9 float16 max_v = fp32_to_fp16(5.0f); 10 int length = 1024; 11 long long params[4]; 12 params[0] = length; 13 params[1] = 0; // quant_min 14 params[2] = 255; // quant_max 15 params[3] = true; // symmetric 16 hp_fake_quant_with_min_max_vars_p(input, output, min_v, max_v, params); 17 return 0; 18}